ostbuild: Make --shell-on-failure flag to work

Fixes an issue which would cause ostbuild to fail to spawn the
debug shell and print a traceback instead.

ostbuild: More work on deploy commands

ostbuild: Use --from-file for buildroot compose for easier debugging

ostbuild: Rename shadow-repo-init -> init

qemu-pull: Update to use pull-local

ostbuild: Checksum full component metadata for --skip-built

If we're using --skip-built, we really do want to rebuild if anything
changed (like the build dependency, configure arguments etc.)

ostbuild: Break out git-mirror from resolve

Other bits

ostbuild: Use expanduser

ostbuild: Lots more

ostbuild: Resolve takes --manifest arg

ostbuild: Add tree-to-bin and bin-to-src

ostbuild: Fix DB saving with /tmp and builddir in different volumes

This fixes the case where /tmp resides in one volume, and the build
directory in a different one: by storing the temporary file in the
same directory as the target one, we avoid the case in which os.rename()
would cross file system boundaries.

Reviewed-by: Colin Walters <walters@verbum.org>

ostbuild: Major rework

manifest local

ostbuild: Show ostbuild log messages in warningfilter again

gnomeos-install: Call ostree.gnome.org server "gnome", not "origin"

core: checkout: Add --from-file option too

Easier for debugging if we don't have to redirect stdin.

Conflicts:

src/ostree/ot-builtin-checkout.c

core: Improve error message if we hit an unreadable file

core: Add a mutex to cache data structures in preparation for threading

Conflicts:

src/libostree/ostree-repo.c

core: pull-local: Be a bit more verbose, don't open objects we already have

core: Avoid checksumming hardlinks that point into repository

By default, when doing a commit, scan all of our loose objects and
build up a (device,inode) -> checksum hash.  Then when we're doing a
commit, if we see a file with that (device,inode) pair, we can avoid
checksumming it.

core: Drop --link-cache option, we do it by default now for archives

core: [INCOMPATIBLE CHANGE] Re-split archive content into .file and .filecontent

This will allow us to use hard links again for user-mode checkouts,
rather than the hackish link cache.  It was pretty silly anyways to
have file objects be stored with just a small metadata header
prepended, but uncompressed.

Either they should be hardlinkable, or compressed (in pack files).

core: Handle zero-sized archives, improve fsck error message

core: Add valgrind framework, plug various memory leaks

core: Optimize commits to raw repositories

Avoid creating a temporary intermediate file in the case where we have
the total object length available.

core: Clean up object storage API

Rather than passing xattr/file_info for all objects, change the API to
assume we're passing the defined object stream for each type.  Namely,
for OSTREE_OBJECT_TYPE_FILE, we're now giving the "archive file" data.

This significantly cleans up the code for committing to archive mode
repositories, at the cost of having to (at present) create an
intermediate temporary file when committing to raw repositories.

daemon: Use g_thread_new() for GLib 2.32

core: Increase type safety of some local alloc functions

build: Link with -Bsymbolic-functions

Avoids indirecting through PLT for internal calls, at the cost that we
can't use LD_PRELOAD to override internal functions (but we never
really want that, use a debugger).

core: Fix gcc uninitialized-variable warning

3.4: Update GDM patches

core: Rename local-clone to pull-local

Also change it to copy selective refs, rather than enumerating
all objects.

3.4: Update libxklavier, re-enable-introspection

This fixes gnome-shell too.

core: Fix 32/8 bit confusion in pack index listing

3.4: Pull in gtk-engines too

core: diff: Fast path unmodified directories

core: pack: Add --metadata-only argument

Useful for bare repositories.

core: Fix uninitialized variable

Merge remote-tracking branch 'aperezdc/wip'

core: local-clone: Delete leftover code assuming file objects are loose

Add a Development section to the README

Put in links to the wiki and the git repository for OSTree

Remove trailing whitespace

manifest: Fix path of PolicyKit repository

The old path being used is no longer available, making
"ostbuild resolve" bail out when trying to clone the
repository.

Some corrections in gnomeos/README-build.md

core: Add ability for repositories to have a "parent"

This will be useful for ostbuild; a user can create their own archive
mode repository which transparently inherits objects from the
root-owned one in /ostree.

README.md: Note existence of wiki page

switchroot: Properly check for number of arguments

The ostree-switch-root tool expects three arguments (argc=4): new root, OS
tree target, and init(8) binary to launch inside it. Also, the error message
when not enough arguments are passed now tells about the second argument
being the target OS tree.

Reviewed-by: Colin Walters <walters@verbum.org>

gnomeos-install.sh: retrieve full path to srcdir

This fixes the installation of the grub2 script.

core: Pull pack files individually

core: Cache pack indexes

This is a 10x speedup on heavy users of ostree_repo_find_object(),
such as ostree-pull.

triggers: Test for gconftool-2

This was done for the rest of the triggers.

ostbuild: Take advantage of link cache

This greatly speeds up construction of buildroots.

gnomeos: Update to NSS 3.13.4

In particular we no longer need the stupid Linux3.0.mk Linux3.1.mk
Linux3.2.mk files.

core: Add --link-cache option to checkout

This is a convenient way to have a lookaside directory of hard links,
which can greatly speed up checkouts.  In the future we probably want
to push this down into the repository.

Release 2012.2

core: Re-unify on one OSTREE_OBJECT_TYPE_FILE

Having the archived vs not distinction in the object system wasn't
useful in light of pack files.  In fact, we should probably move
towards generating a pack file per commit by default.

core: Clean up checksumming

Don't expose GChecksum in APIs.  Add a new stream class which allows
us to pass an input stream somewhere, but gather a checksum as it's
read.

Move some bits of the internals towards binary csums.

core: Drop wrapping of metadata variants

core: Split pack files into data/metadata

This will allow us to download metadata first (separately), and in the
future we can have an improved metadata pack format that compresses
heavily.

core: Switch to 'ay' for checksums, drop versions/metadata

core: Drop 'compose' builtin

We'll just add this functionality to commit.

core: Clean up checksum API

We want to move towards guchar * for binary checksums.

core: unpack: Regenerate pack index after unpacking

core: Fix uninitialized variables

tests: Actually test pack functionality

With --keep-loose we were just using the loose objects.

core: Port builtins to local alloc macros

core: Port libostree to local alloc

core: Port libotutil to local-alloc

core: Add macros for local allocation

This is GCC-specific, but it makes the code significantly
cleaner.

core: Fix xattr API to conform to coding style

core: Fix a minor memory leak

core: pull: Add progress bar, allow pulling individual commits

core: checkout: Add --from-stdin option

This allows checking out many branches in one go, useful in
combination with the --union flag for ostbuild to combine a lot of
components.

ls: Add mode to print filenames as binary

This is useful to extract the file listing to another program.

gnomeos-install.sh: Fix link to -devel root

Now that we're using checkout --atomic-swap, there is no
-devel-current.

15_ostree: don't assume kernel arch names

uname -m is not always the suffix of the kernel image. Debian uses
-686-pae, but uname -m would say i686. This creates an infinite loop in
Debian.

gnomeos-clone-qemu: use bash explicitely

ostree-pull: GOptionEntry must be NULL terminated

gnomeos-install: don't cd into /ostree prematurely

The script will die and not proceed with the creation of the directory.

gnomeos-install: use /bin/bash, not /bin/sh

This scripts use bashisms, so use /bin/bash as the interpreter until
they are un-bashified.

gnomeos: update README script path

core: Associate branches with remotes, move trigger runs into checkout

Also add --atomic-retarget option to checkout. This does the magical
symlink dance to do atomic swaps between trees.

core: Clean up stale packfiles

core: Validate structure of objects in fsck

core: Make pull slightly more verbose

core: Drop "staged" state for objects, refactor pull to split metadata/data

Previously we had the "staged" state to ensure we didn't add a commit
object without the associated dirtree, etc.  However it's
easier/better to just ensure in the pull command that we have all
referenced objects.

Also change pull to download metadata first.  This will allow adding
a progress bar later.

core: Make fsck verify from commit objects

Rather than verifying every object, traverse all commit objects we
find.  This is a better check, since primarily we care about being
able to check out trees.  In the new packfile regime, this ensures
validity of packed data.

It also means we aren't checking loose objects that we most likely
don't care about.

core: Move commit/dirtree traversal into library

So it can more easily be reused by other builtins.

core: Fix a few memory leaks

core: Return input stream for raw repositories too

This bug is more obvious when fsck is rebased on top of
ostree_repo_load_file().

Release 2012.1

core: Only depend on GLib 2.30

Release 2012.0

This marks a new versioning scheme.

core: Add pack files

This concept is also directly inspired by git.  At present, our
implementation is quite similar, except we don't have delta
compression.

core: Add stream->variant helper, as well as clear macros for ptrarray/hashtable

core: Add a few more GIO utility functions

core: Add helper functions to convert (checksum, objtype) pair to/from string

ostbuild: Add preserve_net config option

This is going to be necessary for the builder.

manifest: Move ostree back to master branch from git